Thành phố được Galdan Boshogtu Khan (Cát Nhĩ Đan) của Dzungaria thành lập từ thế kỷ 17 bên bờ con sông Khovd nay nằm tại sum Erdenebüren. Nghề trồng rau và hoa quả đã phát triển tại khu vực xung quanh thành phố Khovd bằng cách sử dụng kinh nghiệm cày cấy của những tù binh đến từ Tân Cương và các nước Trung Á ngày nay. Thành phố được nhà Thanh "di chuyển" đến bờ sông Buyant sau khi thành phố cũ bị Hãn quốc Dzungar phá hủy.

Ngày 7 tháng 8 năm 1912, quân đội Mông Cổ dưới sự chỉ huy của Manlai Baatur Damdinsuren, Khatanbaatar Magsarjav và Ja Lama Dambiijantsan cũng với sự giúp đỡ của nhân dân đã tiến hành giải phóng thành phố Khovd, tiêu diệt toàn bộ quân đồn trú Mãn-Hán và thủ tiêu chính quyền của trú tráp đại thần nhà Thanh